Почему распределенный SQL 


сложнее, чем кажется Ж 
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Распределенный 501: 
Что, Как и Зачем? 


Распределенный SQL - Что? 


SELECT * FROM T 


GROUP BY B > 
9 2—__Вња 


А HighLoad» 
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Распределенный SQL - Что? 


SELECT * FROM T 


O GROUP BY B = (5) 
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Распределенный SQL - Как? 


1. Как распределить данные? 
е Шардирование, репликация, SELECT “ FROM Т 


колокация O GROUP BY B = Го) 
с =те 
Ө 


2. Какреплицировать данные? б | 
е АсШуе-ра551ме vs active-active ы. 
e Strong ог eventual consistency Е (4) ми 
“ 2РС, РАХО5, MVCC, etc. ГЭ 


3. Какраспределить вычисления? ээж. еа Р до? 


» Этапы вычислений, роли узлов ера ЭА. (з) 


4. Как выполнить запрос? 
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Распределенный SQL - Как? 


1. Как распределить данные? 
SELECT * FROM Т 


е Шардирование, репликация, 
колокация O GROUP BY B = 6) 
Су ке) + с 
3. Как распределить вычисления? Б жолда со чы 
“ Этапы вычислений, роли узлов ые ЖЫ, Су 


4. Как выполнить запрос? 
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Распределенный SQL - Зачем? 


е Больше железа 
е Выше Производительность 
• Больше емкость 


e Несколько копий 
• Возможность распараллелить 
нагрузку 
e Ниже влияние потери отдельной 
машины 
e Несколько регионов 


е” Возможность локального доступа к 
данным 


• Ниже влияние отказа целого ЦОД-а 


О 
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SELECT * FROM T 
GROUP BY B 
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Распределение Данных 


Как сохранить больше данных, чем влезает в RDBMS? 
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Репликация 


О) SELECT * FROM PERSON 


бы 


PERSON = 
(Вася, Петя, Маша, Вова} 
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Репликация 


PERSON = 
{Вася, Петя, Маша, Вова} 


О) SELECT * FROM PERSON 


бы 


PERSON = 
{Вася, Петя, Маша, Вова} 


PERSON = 
{Вася, Петя, Маша, Вова} 
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Репликация 


SELECT * FROM 


O PERSON 


Load 


Balancer 


ШИШ 


PERSON = 
{Вася, Петя, Маша, Вова} 


PERSON = 
{Вася, Петя, Маша, Вова} 


PERSON = 
{Вася, Петя, Маша, Вова} 
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Репликация 


SELECT * FROM 


О я т 


Сс Balancer 


+ Доступность 
— Масштабируемость 


ШИШ 


PERSON = 
{Вася, Петя, Маша, Вова} 


PERSON = 
{Вася, Петя, Маша, Вова} 


PERSON = 
{Вася, Петя, Маша, Вова} 
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Шардирование 


О) SELECT * FROM PERSON 


бы 


PERSON = 
(Вася, Петя, Маша, Вова} 
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Шардирование 


О) SELECT * FROM PERSON 


бы 


PERSON = 


(Вася, Петя, Маша, Вова) 
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Шардирование 


О 
бы 


SELECT * FROM PERSON 


PERSON = (Вася) 


PERSON = {Петя, Маша} 


РЕВЗОМ = (Вова) 


1) Ш 
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Шардирование 


PERSON = 


{Baca} 
SELECT * FROM 
O PERSON 


Сс ”Склеиватель” 


PERSON = 


{Петя, Маша} 


PERSON = 


{Вова} 


Ш Ш 
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Шардирование 
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Шардирование 
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(Вася) Шин ШШ 
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Шардирование 


SELECT * FROM 
PERSON 


{Вася} 


PERSON = 


(Вася) 
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SELECT * FROM 
O PERSON 


Сс ”Склеиватель” 


SELECT * FROM 


PERSON PERSON = 


{Вова} 
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Сс ”Склеиватель” 
{Вася, Вова) 


Шардирование 


SELECT * FROM 
PERSON 


PERSON = 


(Вася) 
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SELECT * FROM 
O PERSON 


SELECT * FROM 
PERSON 


{Вова} 


PERSON = 


{Вова} 
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Шардирование 


SELECT * FROM 
PERSON 


PERSON = 


(Вася) 


ІШІ! 


SELECT * FROM 
O PERSON 
Сс ”Склеиватель” 
(Вася, Вова) 


SELECT * FROM 
PERSON 


{Вова} 


PERSON = 


{Вова} 
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Шардирование + Репликация 


О 


SELECT * FROM 
PERSON 


”Склеиватель” 


SELECT * FROM 
PERSON 


{Вася} 


SELECT * FROM 
PERSON 


{Петя, Маша} 


SELECT * FROM 
PERSON 


{Вова} 


Ш 


PERSON = 


(Вася) 


PERSON = 


{Петя, Маша} 


PERSON = 


{Вова} 
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Шардирование + Репликация 
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PERON (7-7 PERSON = 
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SELECT * FROM 
O о SELECT * FROM тез 
PERSON (9) PERSON = 
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Шардирование + Репликация 


SELECT * FROM 
PERSON 


экенин ма 


PERSON = 


(Вася, Петя, Маша) 


ІШІ! 


SELECT * FROM 
O PERSON 


”Склеиватель” 


SELECT * FROM 
PERSON 


{Вова} 


PERSON = 


(Вова, Вася} 
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Шардирование + Репликация 


SELECT * FROM 
PERSON 


экенин ма 


PERSON = 


(Вася, Петя, Маша) 


ІШІ! 


SELECT * FROM 
O PERSON 


Сс ”Склеиватель” 
(Вася, кг Маша, 
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SELECT * FROM 
PERSON 


{Вова} 


PERSON = 


(Вова, Вася} 
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Распределение Данных в Apache Ignite 


e Все таблицы шардированы 
е Шарды называются партициями 
» Число партиций настраивается (1024 по умолчанию) 
• Номер партиции - хэш от ключа 


е Два режима таблиц 


е РАКТІТІОМЕР - заданное количество БасКир-копий 


CREATE TABLE PERSON (ID ІМТ PRIMARY KEY, МАМЕ VARCHAR) 
WITH “template=partitioned, backups=1” 


e RERPLICATED - количество копий партиций всегда равно количеству узлов 


CREATE TABLE PERSON (ID INT PRIMARY KEY, МАМЕ VARCHAR) 
WITH “template=replicated” 


Ы Распределение партиций по узлам - автоматическое 
Используется rendezvous hashing 
e Партиции автоматически переезжают при входе-выходе узлов 
e У каждой партиции один ргітагу-узел и 0..М-1 БасКир-узлов 


ТА Нен оаа 
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Выполнение Запросов 
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Выполнение Запросов 
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Мар-Кедисе 


Кедисе Ма 


”Склеиватель” 


Ш ШШ 
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Мар-Кедисе 
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Мар-Кедисе 
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Reduce p 
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ШІ 
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e JOIN 
e Агрегация 


е 
ы 
23 
5; 
кө) 
о» 
Е 
5 
ва! 


5 HighLoad 
(ны) а 


Мар-Кедисе 


< 
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Reduce p 


”Склеиватель” 


ШІ 


ШО 


“ JOIN 


• Финальная склейка 
• Агрегация 
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Мар-Кедисе в Apache Ignite 


Кедисе 


Кедисег 


Мар 


Маррегѕ 
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Мар-Кедисе в Apache Ignite 


О 


гл 


SELECT * 
FROM PERSON 


Reduce 


Reducer 


Map 


Mappers 
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Мар-Кедисе в Apache Ignite 


О 
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SELECT * 
FROM PERSON 


Reduce 


| Очегу 
| Splitter 


Reducer 


Map 


Mappers 
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Мар-Кедисе в Apache Ignite 
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гл 


SELECT * 


FROM PERSON 


Query 
Splitter 


Reduce 


SELECT * 
FROM PERSON 


SELECT * 
FROM T1 


Reducer 


Map 


Mappers 
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Мар-Кедисе в Apache Ignite 


Ведисе | Мар 
SELECT * 
Query FROM PERSON 
Splitter 
SELECT * 


О и SELECT # и. ле 


СС FROM PERSON 


Mappers 


Reducer 
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Мар-Кедисе в Apache Ignite 


Ведисе | Мар 
SELECT * 
Query FROM PERSON 
Splitter 
SELECT * 


О и SELECT # и. ле 


СС FROM PERSON 


T1 (Virtual) 


Mappers 


Reducer 
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Мар-Кедисе в Apache Ignite 


Ведисе | Мар 
SELECT * 
Query FROM PERSON 
Splitter 
SELECT * 


© 2 SELECT * се ЕВОМ Т1 


СС FROM PERSON и / 


шиш 


T1 (Virtual) 


Mappers 


Reducer 
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Мар-Кедисе в Apache Ignite 


Ведисе | Мар 
SELECT * 
Query FROM PERSON 
Splitter 
SELECT * 


© 2 SELECT * се ЕВОМ Т1 


СС FROM PERSON и / 


шиш 


T1 (Virtual) 


Mappers 


Reducer 


ТА HighLoad 
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Мар-Кедисе в Apache Ignite 


е Кедисег контролирует выполнение запроса 
e Парсит и «разбивает» запрос на map- и гедисе-фазы 
е. Отправляет тар-запросы 
• Создает виртуальные таблицы для результатов тар 


е Кедисег ом могут выступать разные узлы 
е Один из серверов с данными 
е. Выделенный узел 
• Приложение 

e Mapper работает как обычная RDBMS 


e Парсинг, индексы, оптимизации, etc. 
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Преобразование 501 для Мар- 
Кейисе 


Наивный Мар-Кедисе 


Ведисе | Мар 
SELECT * 
0050) FROM PERSON 
Splitter 
SELECT * 


© 2 SELECT * се ЕВОМ Т1 


СС FROM PERSON и / 


шиш 


T1 (Virtual) 


Mappers 


Reducer 
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Наивный Мар-Кедисе 


Ведисе | Мар 


SELECT * 


Жат FROM PERSON 
| Splitter 


O SELECT СООМТ(9) | /) SELECT СОУМТ(*) 
(ГУ FROMPERSON | шы 


72 


шиш 


T1 (Virtual) 


Mappers 


Reducer 
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Наивный Мар-Кедисе 


Ведисе | Мар 


SELECT * 


Splitter 


O SELECT COUNT(*) | /! SELECT СОУМТ(*) 
СС FROM PERSON | Р дие 
HEH ни 
T1 (Virtual) 
Reducer Плохо я пересылаем 


много данных! 


ТА HighLoad 
(н) рс ши 


Считаем Агрегаты на Мар 


Ведисе | Мар 
| SELECT СООМТ(7) 
Ж ТЗ FROM PERSON 
Е 
O SELECT COUNT(*) 7 SELECT SUM(1) 
Ст 770 FROM PERSON ши Р FROM Т1 


Маррегѕ 


шиш 


T1 (Virtual) 


Reducer 


ТА HighLoad 
(hL) таа ри ш 


Считаем Агрегаты на Мар 


Ведисе | Мар 


SELECT СООМТ(7) 


| Очегу ҒКОМ РЕК5ОМ 
| Splitter 


O 7 SELECT COUNT(*) | | SELECT 50М(1) 
с FROM PERSON |) шш. 


72 


шиш 


T1 (Virtual) 


Mappers 


Reducer Гораздо лучше! 


ТА Нен оаа 
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Разбиение Простых Запросов 


SELECT * SELECT * FROM PERSON SELECT * FROM T1 

FROM PERSON WHERE NAME = “Baca” 

WHERE NAME = “Baca” 

SELECT COUNT(*) SELECT COUNT(*) FROM PERSON SELECT SUM(1) FROM T1 

FROM PERSON 

SELECT AVG(AGE) SELECT SUM(AGE) аз SUM_AGE, SELECT 

FROM PERSON COUNT(AGE) as CNT SUM(SUM_AGE) / SUM(CNT) 
FROM PERSON FROM T1 


e WHERE обычно можно сделать полностью Ha map 
e Arperaųnn можно частично посчитать Ha map n досчитать Ha reduce 
• Каждый вид агрегации требует своей логики 
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Распределенный JOIN 


SELECT Р.МАМЕ, С.МАМЕ 
FROM PERSON Р 
JOIN COMPANY С 


ОМ Р.СОМР ID = С.ТО 
g NAME 


Bosa [3 (| 


COMPANY 


ТА HighLoad 
(hL) таа ри ш 


Распределенный JOIN 


SELECT Р.МАМЕ, С.МАМЕ 
FROM PERSON Р 
JOIN COMPANY С 


PERSON COMPANY 
ОМ Р.СОМР ID = С.Ір | РЕБОМ O| 
= МАМЕ | СОМР ID МАМЕ їр | 


Ожидаемый результат: 
.... 
ася, Вов 3 
сопа Bosa J3 
Mawa, FB 
Вова, FB 


ТА HighLoad 
(HL) таа ри ш 


Распределенный JOIN 


РЕВ5ОМ СОМРАМҮ 
МАМЕ |СОМР Ір МАМЕ ГИ 
АРРІ 


SELECT Р.МАМЕ, С.МАМЕ 
FROM PERSON Р 

JOIN COMPANY C 

ON P.COMP ID = C.ID 


ШІ, 


РЕВ5ОМ СОМРАМҮ 
МАМЕ | СОМР 0 МАМЕ Г 
GOOGL 


PERSON 


ШІ, 


Mawa |з - 


СОМРАМҮ 


намь 0 
(ш) нечо 


ШІ, 


Распределенный JOIN 


ОЕТЕСТ P NAME; С „МАМЕ бин? сымы 
== амс fo 
FROM PERSON Р 5 қ БЭРТ Я 
JOIN COMPANY © о ам с 
ЯМ ЖАСЫР 10 = 9. ТВ кен 
= name То 
JOIN на каждом узле по = 
отдельности: Mawa [з 
Вася, APPL = 
Петя, GOOGL — [name То 
Bosa, FB = 


ТА HighLoad 
(HL) Pano ши 


Распределенный JOIN 


шивнэ СОМРАМҮ 
хогийн нгийн С.МАМЕ ==] (МАМЕ | СОМРЮ | [name [р 
МОР 12-15) ваа Ja | А |1 
JOIN COMPANY С Тт —— = го 
ИИ ЕЕЕ — 
2-2 МАМЕ |D 
JOIN на каждом узле по = 
отдельности : Маша 3 | 
Вася, APPL шинэ 
Петя, GOOGL == МАМЕ iD 
Bosga, FB Ошибка! сте 


ТА HighLoad 
(HL) Pano ши 


Распределенный JOIN 


е Делать на гедисе — плохо масштабируется 


е Делать на тар - не работает 


e Можно ли заставить JOIN работать на тар? 


e Да- с помошью колокации 


А Нен сас++ 
(ны) таа ри 


Колокация Данных по Ключу 


PERSON COMPANY 
МАМЕ | СОМР 0 МАМЕ ГИ 


SELECT Р.МАМЕ, С.МАМЕ 
FROM PERSON Р 

JOIN COMPANY C 

ON P.COMP ID = C.ID 


ШІ, 


паме [0 


ме |0” 


ТА HighLoad 
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СОМРАМҮ 


ШІ, 


ШІ, 


Колокация Данных по Ключу 


SELECT Р.МАМЕ, С.МАМЕ шивнэ СОМРАМҮ 
FROM PERSON Р С Се) NAME |Ю_ 
JOIN COMPANY С С) 
ОМ Р.СОМР ID = Си 
Колокация по СОМРАМҮ.Ї Р и 5] 
РЕВ5ОМ.СОМР 10: = 

Петя, GOOGL <> 

ЕЕ = паме То 

Вова, ЕВ се 


Ч) HighLoad+ 


Колокация Данных по Ключу 


SELECT Р.МАМЕ, С.МАМЕ 
FROM PERSON Р 

JOIN COMPANY C 

ON Р.СОМР Ір = C.ID 


Колокация по COMPANY.ID n 
РЕК5ОМ.СОМР 10: 


Вася, APPL 
Петя, GOOGL 
Маша, ЕВ 


Вова, ЕВ 
Верно! 


ШІ, 


РЕВЗОМ 
МАМЕ | СОМР ID 


СОМРАМУ 


маме |0” 


Сэ 
чин 
= НАСИ 


PERSON 


ШІ, 


РЕВЗОМ 
МАМЕ | СОМР ID 


СОМРАМУ 


СОМРАМУ 


“аме |0” 


ТА HighLoad 
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Колокация с Помошью Репликации 


PERSON 
МАМЕ | СОМР 10 


__ соммыг O 
СЕҺЕСТ Р.МАМЕ, С.МАМЕ 
FROM PERSON Р 

JOIN COMPANY C 


ON P.COMP ID = C.ID 


ШІ, 


PERSON 
МАМЕ | СОМР 10 


PERSON 
name |р 
МАМЕ |СОМР 10 шин 


ШІ, 


ШІ, 


й ч) НН! оаа++ 
(н) нета 


Колокация с Помощью Репликации 


рз, 
ОЕТЕСТ Р.МАМЕ, С.МАМЕ | шин 
РВОМ PERSON Р их? 
ЈОІМ СОМРАМҮ С Се) 
ОМ Р.СОМР ID = Се 
9 2 
Шардированный PERSON + МАМЕ | COMP [р 
реплицированный COMPANY: = MER 
Baca, APPL Қ меді гч" 
Петя, GOOGL 5 
Маша, ЕВ 
Вова, ЕВ = 


ТА HighLoad 
(HL) таа ри ш 


Колокация с Помощью Репликации 


==, 
SELECT Р.МАМЕ, С.МАМЕ Се) 
FROM PERSON Р 5) 
ЈОІМ СОМРАМУ С Шин? 
ОМ Р.СОМР ID = Се 
s 2-2 
Шардированный PERSON + МАМЕ | COMP [р 
реплицированный COMPANY: = MER 
Baca, APPL Қ меді гч" 
Петя, GOOGL 5 
Маша, ЕВ 
Вова, ЕВ = 
= 
Верно! 


ТА Нен оаа 
(ны) таа ри ш 


Колокация Данных 


По ключу 
e Подходит, когда все данные относятся к одной центральной сущности 
е Аккаунт, транзакция, филиал 
• С помощью репликации 
е Подходит для таблиц-справочников 
• Схема «звезда» 
е Колокация помогает ускорить распределенные JOIN, GROUP ВУ, 
подзапросы 


ТА Нен оаа 
(ны) таа ри ш 


Оптимизация Кедисе 


1. Наивно пытаемся спихнуть работу на тар 
• Подходит для WHERE по полям таблицы 


Хитро разбиваем агрегацию на тар-гедисе 
e COUNT, АМС, MIN, МАХ, etc. несложно разбить 
e DISTINCT n ORDER BY сложнее 


3. Колоцируем данные 
e Помогает с JOIN и агрегацией 
е Требует подготовки схемы БД 
4. Оставшееся делаем на гедисе 
• Если осталось много, то работать будет медленно 


эы 


А Нен сас++ 
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Если Reduce Сложный 


ТА Нен оаа 
(ны) таа ри ш 


Если Кедисе Сложный 


е Решение 1: несколько 


Load 
гедисег’ов шин ны е — = 


е Работает, если есть, что 
балансировать Аррз edoren зирек 
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Если Кедисе Сложный 


с _ 

ө ° СА А 
Решение 1: несколько ЕСЕ Жу. = 
гедисегов Ва!апсег TN I 

12 се 


е Работает, если есть, что 


балансировать Арр5 Нацаг Кїзррагс 
е Решение 2: многофазные А 4 $ сеч 
- &@Са!сїїе -„седдо) Е 
запросы 
р съ = 
Аррѕ Data + Compute 
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Оптимизация Reduce в Apache Їепїїе 


е Базовые оптимизации функций агрегации 


e JOINS считаются сколоцированными по умолчанию 
e Неправильная модель колокации - неправильный результат 
е Опции затянуть все данные на гедисе нет даже в хинтах 
е Трехфазные запросы для несколоцированных /О1М5 


e В разработке: новый движок SQL на Apache Calcite 
е Apache Ignite 3.0-аірһа2 в мае 2021 


® 


НїєН! оаа++ 


Весна 2021 


Колокация в Apache Ignite 


e По ключу 
CREATE TABLE PERSON (Ір ІМТ PRIMARY KEY, МАМЕ VARCHAR, 
COMP ID INT) 
WITH “template=partitioned, affinity Кеу-СОМР Ір” 
CREATE TABLE COMPANY (ID INT PRIMARY KEY, NAME VARCHAR) 
WITH “template=partitioned” 


• С помощью репликации 
CREATE TABLE PERSON (ТО ІМТ PRIMARY KEY, МАМЕ VARCHAR, 
COMP ТО INT) 
WITH “template=partitioned” 
CREATE TABLE COMPANY (ID INT PRIMARY KEY, NAME VARCHAR) 
WITH “template=replicated” 


ТА HighLoad 
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Несколоцированные JOINs в Apache |епйе 


«Расширенный» тар: 2-3 
2-3 


5 HighLoad 
(ны) таа ри ш 


Несколоцированные JOINs в Apache |епйе 


Фа 

«Расширенный» тар: ше? 
1. Маррег$ сканируют левую 

таблицу локально л 

O ТО) = 

СТ (о) = 

N A 

==) 

Се) 


ТА Нен оаа 
(ны) таа ри ш 


Несколоцированные JOINs в Apache шщ 


A 

«Расширенный» map: шивнэ 

1. Маррег$ сканируют левую 9 

таблицу локально А | 

2. Маррег5 запрашивают O <) 
данные правой таблицы у Ада Ар --- — (2) 

других таррегѕ 

АА 

a 

(5 
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Несколоцированные JOINs в Apache |епйе 
© 


А 
«Расширенный» тар: = 
1. Mappers сканируют левую аас 
таблицу локально Ж л | 
2. Маррег5 запрашивают С) шивнэ 
данные правой таблицы у гл _— Ар - = 5 
других таррегѕ 
3. Mappers делают JOIN n ы /\ | 
возвращают результат == 
Бэк! 
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О Чем Поговорили 


е Для масштабирования нужно шардирование... 


“которое требует склейки частичных результатов... 
‚.Которую можно делать по тар-гедисе... 
„HO reduce — это bottleneck... 

..С которым можно бороться: 


е Фильтрация на тар 

е Хитрые разбиения агрегации 

e Колокация данных по ключу и с помощью репликации 
e Многофазные вычисления 


ТА Нен оаа 
(ны) таа ри ш 


Выводы 


е Нужно понимать, как ваша распределенная база выполняет 
сложные запросы 


e JOIN и агрегации могут плохо масштабироваться даже в 
распределенной системе 


e Колокация- круто, но нужно быть готовым к тюнингу модели 
данныхи запросов 


ТА Нен оаа 
(ны) таа ри ш 


О&А 


Спроси меня: 


е stanlukyanov@gmail.com 


e Telegram: @1икуапоуѕа 


Apache Ignite Community: 


e ignite.apache.org 
e dev@ignite.apache.org 
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